本文是文本风格迁移问题的一个尝试，提出了两个模型，核心点在于如何从文本中分离内容特征和风格特征，作者使用了对抗网络来解决这个问题。同时作者建立了paper-news、positive-negative review两个数据集，提出了文本风格迁移两个指标：transfer strength、content preservation，实验证明，与auto-encoder相比，作者提出的模型在内容保存度上接近，在风格迁移度上大幅提高。
paper link

Introduction

风格转换（Style Transfer）是人工智能许多子领域的一个重要问题，而语言风格转换的发展滞后，主要面临三个挑战：

• 缺乏平行语料来对风格转换提供标注数据作为参考
• 缺乏可靠的评估指标
• 如何从文本内容中分离出风格

本文提出两个模型在缺乏平行语料训练数据的情况下，进行风格转换。模型的关键是使用对抗网络来让模型分别独立的学习文本表示和风格表示。另外由于缺乏有效的评价指标, 本文提出两个新的评价风格转换的指标：转换强度和内容保存。本文将提出的模型应用在两个风格转换任务上：paper-news title转换和positive-negative review 转换。

结果表明, 本文提出的评价方法与人类的判断高度相关, 提出的模型不仅能够生成相似文本的句子，而且与autoencoder相比有更高的风格转换强度。

本文的贡献有三点:

1. 构成一个论文-新闻标题的数据集方便语言风格转换研究。
2. 为风格转换提出两个评估指标：转换强度和内容保存，评价指标与人类的主观判断高度相关。
3. 提出两个风格转换的模型。

Model

本文提出了两个基于seq2seq的风格转换模型：

• 使用多解码器的seq2seq模型。每个解码器独立生成一种对应的文本风格。
• 引入了style embedding的seq2seq模型。style embedding加到文本表示上，一个解码器训练生成不同风格的文本。

Multi-decoder Model

多解码器模型类似于有几个解码器的auto-encoder。这个模型的挑战是如何使用输入X生成文本内容表征 c 。在原始的auto-encoder 模型，编码器的生成表示包含文本内容和风格信息。

我们使用一个类似Adversarial Multi-Criteria Learning for Chinese Word Segmentation 提出的分离多任务学习的共享和私有特征的对抗网络，来分离文本内容表示与风格表示。对抗性网络由两部分组成：第一部分是分类器，旨在对编码器表示的x的风格进行分类。损失函数将训练数据中的风格标签的负对数概率最小化：

$\theta_{c}$是多层感知器(MLP) 用于预测风格标签的参数 。第二部分是对抗网络的生成器（也就是Encoder GRU），通过最大化预测风格标签的熵，使分类器无法分辨输入x的风格：

_给定一个输入句，对抗训练包括两部分：一是MLP分类器对Encoder生成的特征表示进行分类，使得分类器更好的区分风格类别；另一方面是训练Encoder生成的特征表示，使得分类器无法区分风格类别。训练的最终结果是encoder生成的特征表示中只包含内容信息，不包含风格信息。_

Style-embedding Model

借鉴自A Persona-Based Neural Conversation Model，在这个模型中，编码器和对抗网络与多解码器模型相同。不同之处在于加入了style embeddings $E\in R^{N\times d_{n}}$，_N_ 表示风格数量和$d_{s}$是风格的维度，只使用一个解码器将文本表示和嵌入的风格拼接生成不同类型的风格。

Evaluation

Transfer Strength：

用来评估风格是否被转换，使用LSTM-sigmoid分类器实现。定义如下：转换强度的准确度定义为 $N_{right}/N_{total}$，$N_{right}$ 是测试数据的总数，$N_{total}$是风格正常转换的数目。

Content Preservation：

训练100% 的转移强度的模型是很容易的。但是也要保证内容一致。内容保存可以计算源文本和目标文本之间的相似性。内容保留率被定义为源句vs和目标句vt之间的余弦距离。语句嵌入包含在(17) 中定义的单词嵌入的最大、最小、平均pooling，对于词嵌入, 使用预训练的Glove，本文使用维度100。

Experiments

Dataset

两个非平行语料paper-news title数据集和positive-negative review数据集。第一个数据集的论文从ACM 等学术网站上爬取，新闻标题来自UC Irvine Machine Learning Repository 的科学技术目录。第二个数据集使用2016年发布的亚马逊产品评论数据。随机选择40万积极和40万消极评论组成我们的数据集。

Results and Analysis

Paper-News Title中 auto-encoder 能够恢复大部分内容, 但几乎没有转换强度。提出的两个模型都能达到相当高的分。多解码器模型在转换强度上表现更好, 而style-embedding模型对内容保存效果更好，范围更广。Positive-Negative评论转换，对于style-embedding模型, 它涵盖广泛。多解码器模型表现更好，有较高的转换强度，并取得了更高的内容保存。

Conclusions

本文是文本风格迁移问题的一个尝试，提出了两个模型，核心点在于如何从文本中分离内容特征和风格特征，作者使用了对抗网络来解决这个问题。同时作者建立了paper-news、positive-negative review两个非平行语料数据集，提出了文本风格迁移两个指标：transfer strength、content preservation，实验证明，与auto-encoder相比，作者提出的模型在内容保存度上接近，在风格迁移度上大幅提高。

Reference

• Adversarial Multi-task Learning for Text Classification
• Adversarial Multi-Criteria Learning for Chinese Word Segmentation
• A Persona-Based Neural Conversation Model
• https://zhuanlan.zhihu.com/p/32300981